Un solo documento envenenado podría filtrar datos "secretos" a través de ChatGPT

Los modelos de IA generativa más recientes no son simples chatbots independientes que generan texto ; se pueden conectar fácilmente a tus datos para brindar respuestas personalizadas a tus preguntas. ChatGPT de OpenAI puede vincularse a tu bandeja de entrada de Gmail, inspeccionar tu código de GitHub o encontrar citas en tu calendario de Microsoft. Sin embargo, estas conexiones pueden ser objeto de abuso, y los investigadores han demostrado que basta con un solo documento "envenenado" para hacerlo.

Nuevos hallazgos de los investigadores de seguridad Michael Bargury y Tamir Ishay Sharbat, revelados hoy en la conferencia de hackers Black Hat en Las Vegas, muestran cómo una vulnerabilidad en los conectores de OpenAI permitió extraer información confidencial de una cuenta de Google Drive mediante un ataque de inyección indirecta de mensajes . En una demostración del ataque, denominado AgentFlayer , Bargury muestra cómo fue posible extraer secretos de desarrollador, en forma de claves API, almacenados en una cuenta de Drive de demostración.

La vulnerabilidad resalta cómo la conexión de modelos de IA a sistemas externos y el compartir más datos entre ellos aumenta la superficie de ataque potencial para piratas informáticos maliciosos y potencialmente multiplica las formas en que se pueden introducir vulnerabilidades.

“El usuario no tiene que hacer nada para verse comprometido, ni para que sus datos se divulguen”, declara Bargury, director de tecnología de la empresa de seguridad Zenity, a WIRED. “Hemos demostrado que esto es completamente seguro; solo necesitamos tu correo electrónico, compartimos el documento contigo y listo. Así que sí, esto es muy, muy grave”, afirma Bargury.

OpenAI no respondió de inmediato a la solicitud de comentarios de WIRED sobre la vulnerabilidad en Connectors. La compañía introdujo Connectors para ChatGPT como una función beta a principios de este año, y su sitio web enumera al menos 17 servicios diferentes que pueden vincularse con sus cuentas. Afirma que el sistema permite "incorporar herramientas y datos a ChatGPT" y "buscar archivos, extraer datos en tiempo real y consultar contenido directamente en el chat".

Bargury afirma haber informado de los hallazgos a OpenAI a principios de este año y que la empresa implementó rápidamente medidas de mitigación para evitar la técnica que utilizó para extraer datos mediante conectores. El funcionamiento del ataque implica que solo se pudo extraer una cantidad limitada de datos a la vez; no se pudieron eliminar documentos completos durante el ataque.

"Si bien este problema no es específico de Google, ilustra por qué es importante desarrollar protecciones sólidas contra ataques de inyección rápida", dice Andy Wen, director sénior de gestión de productos de seguridad en Google Workspace, señalando las medidas de seguridad de IA recientemente mejoradas de la empresa.

El ataque de Bargury comienza con un documento envenenado, que se comparte en la cuenta de Google Drive de una posible víctima. (Bargury afirma que la víctima también podría haber subido un archivo comprometido a su propia cuenta). Dentro del documento, que para la demostración es un conjunto ficticio de notas de una reunión inexistente con Sam Altman, el director ejecutivo de OpenAI, Bargury ocultó un mensaje malicioso de 300 palabras con instrucciones para ChatGPT. El mensaje está escrito en texto blanco con una fuente de tamaño uno, algo que un humano probablemente no verá, pero que una máquina sí leerá.

En un video de prueba de concepto del ataque , Bargury muestra a la víctima pidiendo a ChatGPT que "resuma mi última reunión con Sam", aunque afirma que cualquier consulta relacionada con un resumen de la reunión servirá. En cambio, el mensaje oculto indica al LLM que hubo un "error" y que no es necesario resumir el documento. El mensaje indica que la persona es en realidad un "desarrollador con plazos ajustados" y que necesita que la IA busque claves API en Google Drive y las adjunte al final de una URL proporcionada en el mensaje.

Esa URL es, en realidad, un comando enlenguaje Markdown para conectarse a un servidor externo y extraer la imagen almacenada allí. Sin embargo, según las instrucciones del mensaje, la URL ahora también contiene las claves API que la IA encontró en la cuenta de Google Drive.

Usar Markdown para extraer datos de ChatGPT no es nuevo. El investigador de seguridad independiente Johann Rehberger ha demostrado cómo se pueden extraer datos de esta manera y ha descrito cómo OpenAI introdujo previamente una función llamada "url_safe" para detectar si las URL eran maliciosas y detener la renderización de imágenes si eran peligrosas. Para solucionar esto, Sharbat, investigador de IA en Zenity, escribe en una entrada de blog que detalla el trabajo que los investigadores utilizaron URL del almacenamiento en la nube Azure Blob de Microsoft. "Nuestra imagen se ha renderizado correctamente y también obtenemos un excelente registro de solicitudes en Azure Log Analytics, que contiene las claves API de la víctima", escribe el investigador.

Este ataque es la última demostración de cómo las inyecciones indirectas de avisos pueden afectar a los sistemas de IA generativa. En estas inyecciones, los atacantes introducen datos envenenados en un LLM que pueden indicarle al sistema que realice acciones maliciosas. Esta semana, un grupo de investigadores demostró cómo las inyecciones indirectas de avisos podrían utilizarse para secuestrar un sistema doméstico inteligente, activando las luces y la caldera de forma remota .

Si bien las inyecciones indirectas de mensajes rápidos han existido casi desde hace tanto tiempo como ChatGPT, a los investigadores de seguridad les preocupa que, a medida que más sistemas se conectan a LLM, aumente el riesgo de que los atacantes inserten datos no confiables. Acceder a datos confidenciales también podría permitir a hackers maliciosos acceder a otros sistemas de una organización. Bargury afirma que conectar los LLM a fuentes de datos externas les otorga mayor capacidad y utilidad, pero esto conlleva desafíos. "Es increíblemente potente, pero como es habitual con la IA, mayor potencia conlleva mayor riesgo", afirma Bargury.